package day8

import org.apache.spark.sql.SparkSession

object Test1 {
  def main(args: Array[String]): Unit = {
    val spark: SparkSession = SparkSession.builder().master("local[*]").appName("test1").getOrCreate()

    import spark.implicits._

    val list = List(("zs", 18, "男"), ("lisi", 20, "男"), ("紫霞", 22, "女"))
                              .toDF("name","age","sex")

    // 创建parquet格式的文件 test1目录没有则创建    json csv parquet 三种文件存储格式
    list.write.parquet("file:///d:\\data\\test1")
    // coalesce 小文件太多用这个合并
    list.coalesce(2).write.csv("同上")

    spark.stop()
  }
}
